Từ khi theo Cao Hoan ra trận, Nhạc có quân đội riêng, có tiếng là tinh nhuệ, tích trữ rất nhiều binh khí sắc bén và hơn ngàn bộ giáp. Cuối thời Cao Trừng, ông cho rằng 4 biển vô sự, dâng biểu xin giao nạp. Cao Trừng không nhận. Cao Dương lên nắm quyền, Nhạc lại xin nạp, cũng không được nhận. Đến khi hoăng, trong di biểu tạ ơn lại xin nạp, tang lễ xong xuôi, triều đình mới thu nạp. Trong những năm Hoàng Kiến (560 - 561), ông được đưa vào thờ trong miếu của Cao Trừng.

Về sau Cao Quy Ngạn bị kết tội mưu phản, Vũ Thành đế Cao Trạm xét lại việc cũ, đem cả nhà Cao Quy Ngạn hơn trăm người thưởng cho gia đình Nhạc làm nô bộc. Sau đó lại truy niệm chiến công của ông, truy tặng Thái Sư, Thái bảo, còn lại như cũ.

Con là Mại kế tự. Bắc Tề diệt vong, Mại theo lệ vào nước Chu. Nhà Tùy thay ngôi nhà Bắc Chu, Mại mất trong những năm Khai Hoàng (581 - 600).